REAR: Test-time Preference Realignment through Reward Decomposition
REAR：基于奖励分解的测试时偏好重对齐
🧭 测试时偏好对齐 · 奖励分解
Nanyang Technological University · University of California, Berkeley · Nanjing University
提出奖励分解方法 REAR，在测试时无需训练即可重对齐 LLM 至多样化用户偏好。
📌 工作参考价值（4 点）
- 测试时偏好干预：无需额外训练，适合广告文案生成、商品描述等需要快速适配不同风格偏好的场景。
- 奖励分解视角：将生成奖励分解为任务相关和偏好相关项，通过调整权重可细粒度控制输出属性（如多样性、长度、倾向）。
- 与解码策略集成：可无缝接入 Best-of-N、树搜索等测试时优化框架，实现高效可扩展的偏好引导。
- Agent 动态偏好适应：在对话或推荐 Agent 中，用户偏好变化时可通过调整 REAR 权重实时重对齐，无需重训模型。